{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 朴素贝叶斯算法\n",
    "当文档中出现一组词时，如何将该文档进行分类，可以使用贝叶斯公式，计算该文档属于每一个分类的概率，然后比较，找出最大的概率，即可得到该文档分类。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 一 贝叶斯公式\n",
    "$$ p(c_i|(w_1,w_2,\\dots,w_n)) = \\frac{p((w_1,w_2,\\dots,w_n)|c_i)p(c_i)}{p((w_1,w_2,\\dots,w_n))}$$  \n",
    "比如文档有两个分类，就是要计算下面两个值：\n",
    "$$p(c_1|(w_1,w_2,\\dots,w_n)) = \\frac{p((w_1,w_2,\\dots,w_n)|c_1)p(c_1)}{p((w_1,w_2,\\dots,w_n))}$$    \n",
    "$$p(c_2|(w_1,w_2,\\dots,w_n)) = \\frac{p((w_1,w_2,\\dots,w_n)|c_2)p(c_2)}{p((w_1,w_2,\\dots,w_n))}$$  \n",
    "可以看出上面两式分母都是一样的，为此比较$p(c_1|(w_1,w_2,\\dots,w_n))>p(c_2|(w_1,w_2,\\dots,w_n))$的问题就可以转换为比较$p((w_1,w_2,\\dots,w_n)|c_1)p(c_1)>p((w_1,w_2,\\dots,w_n)|c_2)p(c_2)$。  \n",
    "\n",
    "其中概率$p((w_1,w_2,\\dots,w_n)|c_i)$是很难计算的。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 二 朴素贝叶斯算法\n",
    "为了解决概率 $p((w_1,w_2,\\dots,w_n)|c_i)$难以计算的问题。假设  \n",
    "$$p((w_1,w_2,\\dots,w_n)|c_i)=p(w_1|c_i)p(w_2|c_i)\\dots p(w_n|c_i)$$  \n",
    "这就是所谓的“朴素贝叶斯算法”。基于朴素贝叶斯算法，比较$p(c_1|(w_1,w_2,\\dots,w_n))>p(c_2|(w_1,w_2,\\dots,w_n))$的问题就可以转换为比较$p(w_1|c_1)p(w_2|c_1)\\dots p(w_n|c_1)p(c_1)>p(w_1|c_2)p(w_2|c_2)\\dots p(w_n|c_2)p(c_2)$"
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
